实施运维关键注意事项

云平台的规划和交付环节需要注意以下事项。

规划注意事项

  • 云平台需要规划双管理节点，需要提前准备管理网段内用作云平台统一登录使用的VIP地址。
  • 分布式存储场景不推荐利旧使用，严禁使用全千兆环境上分布式存储使用。
  • 服务器网卡建议使用Intel系列万兆网卡使用。
  • 云平台管理节点推荐配置不小于960G的SSD做RAID 1配置Write-through模式用于安装操作系统。
  • 分布式存储mon角色服务器系统盘推荐配置不小于480G SSD做RAID 1配置Write-through模式用于安装操作系统。
  • 分布式存储系统盘，缓存盘配置Intel S4610及以上性能相当的缓存盘，SSD缓盘的DWPD大于3，确保稳定性及性能，数据盘推荐配置4T以上的SATA HDD。
  • 分布式存储缓存盘及数据盘建议RAID配置JBOD或者non-raid直通模式，便于后期磁盘热插拔运维。
  • 网络建议管理网络配置千兆或万兆配置bond AB主备模式，业务网络配置千兆或万兆配置bond AB主备模式，存储网络配置万兆 bond AB主备模式，交换机两两组合配置M-LAG。
  • 操作系统安装请注意不要勾选到其他缓存盘或者数据盘用于操作系统安装，请选择配置RAID 1的系统盘安装操作系统，分区建议使用标准分区，分布式存储请不要分配SWAP分区。
  • 操作系统安装默认密码请使用大小写字母+数值+特殊字符组合的强密码策略，防止弱密码现象。
  • 请提前规划可访问的时间源地址，用于云平台及SDS分布式存储的时间统一访问。
  • 请提前规避好云平台和SDS分布存储端口冲突现象（9090），建议安装分布式存储前请修改分数存储9090端口为9089，规避端口冲突现象。
  • 部署完成请在云平台管理节点配置文件将分布式存储通信端口加入白名单配置，防止后续必要端口因操作系统防火墙给阻挡，影响服务健康。
  • 存储池初始化建议使用3副本机制用于上生产环境使用。
  • 分布式存储规划mon中小规模建议规划3个mon，大规模建议5个mon，需要注意mon节点必须为奇数个。
  • 缓存盘SSD和SATA配比通常建议1:5，PCLE接口SSD最高可配比1:10，SSD做缓存分区，每个分区大小选择50~250G左右空间。

交付注意事项

  • 操作系统密码推荐使用大小写字母+数值+特殊字符组合的强密码策略。
  • 超融合节点需要先部署ZStack Cloud云平台管控服务，然后再进行安装分布式存储软件，在安装分布式存储软件时候需要将解压后的install.conf文件中prometheus监控端口9090改为9089，避免与云平台prometheus服务冲突。
  • 提前规划好环境内的时间服务器地址，用于环境部署时进行时间同步操作，如果未在安装双管之前确认时间服务器，需要单独配置时间源地址，由于ZStack Cloud云平台默认会将管控节点自己作为时间源服务器，需要修改/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties文件内chrony.serverIp.0 = 10.10.10.1 #此处10.10.10.1为示例，请指向正确的时间源地址。
  • 超融合需要在ZStack Cloud云平台管理节点配置文件中提取编辑防火墙规则用于内部通信白名单使用，需要在/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties文件中追加白名单规则。
    KvmHost.iptables.rule.0 = '-I INPUT -p tcp -m tcp --dport 2049 -j ACCEPT'
    KvmHost.iptables.rule.1 = '-I INPUT -p tcp -m tcp --dport 2379:2380 -j ACCEPT'
    KvmHost.iptables.rule.2 = '-I INPUT -p tcp -m tcp --dport 3260 -j ACCEPT'
    KvmHost.iptables.rule.3 = '-I INPUT -p tcp -m tcp --dport 5432:5433 -j ACCEPT'
    KvmHost.iptables.rule.4 = '-I INPUT -p tcp -m tcp --dport 6789 -j ACCEPT'
    KvmHost.iptables.rule.5 = '-I INPUT -p tcp -m tcp --dport 6800:7300 -j ACCEPT'
    KvmHost.iptables.rule.6 = '-I INPUT -p tcp -m tcp --dport 7480 -j ACCEPT'
    KvmHost.iptables.rule.7 = '-I INPUT -p tcp -m tcp --dport 8051:8053 -j ACCEPT'
    KvmHost.iptables.rule.8 = '-I INPUT -p tcp -m tcp --dport 8056 -j ACCEPT'
    KvmHost.iptables.rule.9 = '-I INPUT -p tcp -m tcp --dport 8058 -j ACCEPT'
    KvmHost.iptables.rule.10 = '-I INPUT -p tcp -m tcp --dport 8061 -j ACCEPT'
    KvmHost.iptables.rule.11 = '-I INPUT -p tcp -m tcp --dport 9200 -j ACCEPT'
    KvmHost.iptables.rule.12 = '-I INPUT -p tcp -m tcp --dport 9300 -j ACCEPT'
    KvmHost.iptables.rule.13 = '-I INPUT -p tcp -m tcp --dport 7070 -j ACCEPT'
    KvmHost.iptables.rule.14 = '-I INPUT -p tcp -m tcp --dport 9089 -j ACCEPT'
    KvmHost.iptables.rule.15 = '-I INPUT -p udp --dport 123 -j ACCEPT'
  • 存储网络规划请确认好，后续调整需要停止业务操作，比较麻烦。初始化时候网络规划建议：admin网络选择电脑能打开浏览器UI可以正常访问存储管控平台网络段（一般采用管理网络）、public网络和cluster网络一般作为块存储访问网络，可以选择存储网络段地址、gateway网络作为对象存储或者文件存储提供给业务访问的网络，可以配置业务能正常访问的网络。
  • ZStack Cloud云平台管理节点添加主存储和镜像服务器时候，需要填写SDS内已创建的存储池UUID，一般为pool-开头的存储池，可在存储池详细页面查看，或者使用ceph osd pool ls列出已创建好的池；同时需要填写存储网为存储心跳网络。
  • 添加Ceph类型主存储或者镜像服务器需要注意将三个MON节点IP地址均添加使用，避免单点故障现象。
  • ZStack Cloud云平台全局设置需要设置平台保留内存，保留计算规则：单个超融合服务器OSD数量*5G+操作系统保留10G~20G内存。
  • 建议配置ZStack Cloud云平台数据库自动异机备份（写crontab定时备份数据库任务，建议异机备份按2小时为频率，保留84分即可）。
  • 建议部署完成后在ZStack Cloud云平台管理节点进行基础环境巡检工作，根据巡检建议进行整改。

其它注意事项

  • 禁止在管理节点、物理机或分布式存储节点额外安装不受云平台或存储管控的软件或业务，这些软件在云平台或存储未经过有效的全面性测试，可能存在不兼容的情况。
  • 禁止在管理节点、物理机或分布式存储节点进行相关的配置调整，这些配置变更未经过未经过有效的全面性测试，可能会引发不稳定因素。
  • 分布式存储后端存储容量使用超过70%后，需尽快扩容，如果超过80%必须马上扩容，如果超过90%业务会受到影响，如果超过95%，有数据丢失风险，另外需要注意分布式存储单个OSD容量使用率，如果到达85%阈值会进行存储池告警，如果达到90%阈值，会影响业务IO连续性。
  • 分布式存储在不影响业务情况下，三个mon节点最多同时断电或者损坏一台mon节点。
  • 分布式存储扩容少量扩容可正常扩容，规模大量扩容需要同步扩容存储池内的PG数量，规避数据不均衡分布现象，另外注意如果扩容存储池，需要保持当前存储池内的SSD型号和HDD大小和之前的配置保持一致，如果不一致现象会存在木桶效应。

results matching ""

    No results matching ""